Rollins được sinh ra tại thành phố New York, bố mẹ ông đến từ Quần đảo Virgin thuộc Mỹ.[4] Là người nhỏ nhất trong ba người con, ông lớn lên tại trung tâm Harlem và Sugar Hill, Harlem,[5] Rollins có được cây alto saxophone đầu tiên khi bảy hay chín tuổi.[6] Ông theo học trường trung học Edward W. Stitt và tốt nghiệp trường trung học phổ thông Benjamin Franklin tại Đông Harlem.[7] Rollins từng nói một buổi diễn của Frank Sinatra mà ông xem tại trường đã làm thay đổi đời ông.[8][9][10] Rollins lúc đầu chơi piano, chuyển sang alto saxophone, rồi cuối cùng là tenor năm 1946. Trong khi còn đi học, ông chơi trong một ban nhạc cùng những nhạc sĩ jazz danh tiếng tương lai, gồm Jackie McLean, Kenny Drew và Art Taylor.